لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش کلان داده برای معماران [ویدئو]
Big Data for Architects [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
آیا راهنمایی می خواهید که به شما در انتخاب فناوری Big Data مناسب برای پروژه خود کمک کند؟ یا می خواهید درک کاملی از معماری و خطوط لوله داده های بزرگ به دست آورید؟ این دوره به شما کمک خواهد کرد.
پس از برجسته سازی ساختار دوره و اهداف آموزشی، دوره شما را طی مراحل مورد نیاز برای تنظیم محیط راهنمایی می کند. در مرحله بعد، معماری منطقی Big Data را درک خواهید کرد، تکامل فناوری های Big Data را مطالعه کرده و خطوط لوله داده های بزرگ را بررسی خواهید کرد. با حرکت کردن، با چارچوبهای جذبی مانند Kafka، Flume، Nifi و Sqoop آشنا خواهید شد. در مرحله بعد، با چارچوب های ذخیره سازی کلیدی مانند HDFS، HBase، Kudu و Cassandra آشنا خواهید شد. در نهایت، فرمت های مختلف داده را مرور خواهید کرد و چارچوب های کلیدی پردازش داده و تجزیه و تحلیل داده ها را کشف خواهید کرد.
در پایان این دوره، شما درک خوبی از معماری و فناوری های Big Data خواهید داشت و مهارت های ساخت خطوط لوله داده های بزرگ را در دنیای واقعی توسعه خواهید داد.
تمام منابع و فایل های پشتیبانی این دوره در https://github.com/PacktPublishing/Big-Data-for-Architects در دسترس هستند. ایجاد یک حساب Google و یک خوشه Dataproc
معماری و خطوط لوله داده های بزرگ را درک کنید
فاکتورهایی را که باید در هنگام مقایسه چارچوبهای مصرف در نظر بگیرید، مطالعه کنید
درک کاملی از چارچوب های ذخیره سازی به دست آورید
بین متن و قالب داده باینری تمایز قائل شوید
تفاوت های کلیدی بین فریمورک های Spark، Tez و Flink را بیابید
با Kafka Connect یک خط لوله استخراج، تبدیل، بارگذاری مقیاس پذیر بسازید اگر یک مهندس نرم افزار هستید و به دنبال ساخت خطوط لوله داده های بزرگ هستید یا قصد دارید برای گواهینامه هایی مانند CCA175 یا CCA159 ظاهر شوید، این دوره ویدیویی برای شما مناسب است. برای شروع این دوره به درک اولیه Big Data نیاز است. تصویری جامع از اکوسیستم Big Data دریافت کنید * در انتخاب فناوری Big Data مطابق با الزامات متخصص شوید * برای ساخت خط لوله دسته ای Big Data و پخش جریانی سرتاسر آماده شوید.
سرفصل ها و درس ها
معرفی
Introduction
ساختار و رویکرد دوره
Course Structure and Approach
پیش نیاز دوره
Course Pre-Requisites
مخاطبان دوره
Course Audience
درباره نویسنده
About the Author
تنظیم محیط
Setting Up the Environment
راه اندازی یک حساب Google Cloud
Setting up a Google Cloud Account
ایجاد یک کلاستر Dataproc
Creating a Dataproc Cluster
بهترین روشهای حساب Google Cloud Platform (GCP).
Google Cloud Platform (GCP) Account Best Practices
دیدگاه کل نگر از معماری و خطوط لوله
Holistic View of Architectures and Pipelines
معماری منطقی داده های بزرگ
Big Data Logical Architecture
تکامل فن آوری های داده های بزرگ
Evolution of Big Data Technologies
معماری کلان داده های کلیدی
Key Big Data Architectures
خط لوله دسته ای کلان داده معمولی
Typical Big Data Batch Pipeline
خط لوله انتقال داده های بزرگ معمولی
Typical Big Data Streaming Pipeline
مثال 01: خط لوله جریان داده های بزرگ
Example 01: Big Data Streaming Pipeline
مثال 02: خط لوله انتقال داده های بزرگ
Example 02: Big Data Streaming Pipeline
چارچوبهای ورود/جریان داده کلیدی
Key Ingestion/Dataflow Frameworks
عواملی که باید در هنگام مقایسه چارچوبهای مصرف در نظر گرفت
Factors to Consider while Comparing Ingestion Frameworks
کافکا در مقابل فلوم
Kafka Versus Flume
NiFi در مقابل کافکا
NiFi Versus Kafka
Sqoop Versus Flume
Sqoop Versus Flume
Sqoop Versus Kafka Connect
Sqoop Versus Kafka Connect
نصب NiFi
Installing NiFi
نصب کافکا
Installing Kafka
پیشینه ادغام دستی کافکا و NiFi
Hands-on Kafka and NiFi Integration Background
ادغام کافکا و نی فای
Integrating Kafka and NiFi
چارچوب های ذخیره سازی کلیدی
Key Storage Frameworks
عواملی که باید در هنگام مقایسه چارچوب های ذخیره سازی در نظر گرفته شوند
Factors to Consider while Comparing Storage Frameworks
سیستم فایل توزیع شده Hadoop (HDFS) در مقابل HBase
Hadoop Distributed File System (HDFS) Versus HBase
HBase در مقابل Kudu
HBase Versus Kudu
سیستم فایل توزیع شده Hadoop (HDFS) در مقابل Kudu
Hadoop Distributed File System (HDFS) Versus Kudu
HBase در مقابل کاساندرا
HBase Versus Cassandra
فرمت های داده
Data formats
متن در مقابل باینری
Text Versus Binary
قابلیت همکاری
Interoperability
سطر گرا در مقابل ستون گرا
Row-Oriented Versus Column-Oriented
فرمت های قابل تقسیم
Splittable Formats
تکامل طرحواره
Schema Evolution
مقایسه فرمت های داده
Comparing Data Formats
نصب Sqoop در Dataproc Cluster
Installing Sqoop on Dataproc Cluster
خط لوله دسته ای داده های بزرگ با استفاده از فرمت Avro
Hands-on Big Data Batch Pipeline Using the Avro Format
چارچوب های پردازش داده های کلیدی
Key Data Processing Frameworks
عواملی که باید در هنگام مقایسه چارچوب های پردازش در نظر گرفت
Factors to Consider while Comparing Processing Frameworks
MapReduce (MR) در مقابل معماری منطقی Spark
MapReduce (MR) Versus Spark Logical Architecture
MapReduce (MR) در مقابل عملکرد جرقه
MapReduce (MR) Versus Spark Performance
اسپارک در مقابل تز
Spark Versus Tez
اسپارک در مقابل فلینک
Spark Versus Flink
کافکا استریم در مقابل جرقه جرقه
Kafka Streams Versus Spark Streaming
Spark 2.x Streaming در مقابل Spark 1.x Streaming
Spark 2.x Streaming Versus Spark 1.x Streaming
Spark Core در مقابل Spark Structured Query Language (SQL)
Spark Core Versus Spark Structured Query Language (SQL)
ادغام کافکا و جرقه استریم
Integrating Kafka and Spark Streaming
چارچوب های کلیدی تجزیه و تحلیل داده ها
Key Data Analysis Frameworks
عواملی که هنگام مقایسه چارچوب های تحلیل باید در نظر گرفت
Factors to Consider while Comparing Analysis Frameworks
کندو در مقابل ایمپالا
Hive Versus Impala
کندو در مقابل خوک
Hive Versus Pig
Hive Versus Spark Structured Query Language (SQL)
Hive Versus Spark Structured Query Language (SQL)
Hive Versus Hive Live Long and Process (LLAP) در مقابل Impala
Hive Versus Hive Live Long and Process (LLAP) Versus Impala
Hive در مقابل KSQL
Hive Versus KSQL
KSQL در مقابل KSQLDB
KSQL Versus KSQLDB
عملی KSQL
Hands-On KSQL
نوشتن در یک جریان و جدول با استفاده از KSQL
Writing to a Stream and Table Using KSQL
ساخت یک خط لوله استخراج، تبدیل، بارگذاری مقیاس پذیر (ETL) با اتصال کافکا - قسمت 1
Building a Scalable Extract, Transform, Load (ETL) Pipeline with Kafka Connect - Part 1
ساخت یک خط لوله استخراج، تبدیل، بارگذاری مقیاس پذیر (ETL) با کافکا کانکت - قسمت 2
Building a Scalable Extract, Transform, Load (ETL) Pipeline with Kafka Connect - Part 2
دریاچه دلتا
Delta Lake
معماری دلتا
Delta Architecture
چرا دریاچه دلتا
Why Delta Lake
چالش های با دریاچه دلتا
Challenges with Delta Lake
نسخه ی نمایشی دریاچه دلتا
Delta Lake Demo
مواد اضافی
Additional Material
Solr در مقابل Elasticsearch
Solr Versus Elasticsearch
جستجوی کلودرا در مقابل Solr
Cloudera Search Versus Solr
Oozie در مقابل جریان هوا
Oozie Versus Airflow
KSQL در مقابل KStreams
KSQL Versus KStreams
خلاصه
Summary
نتیجه
Conclusion
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
باووک چاولا بیش از 16 سال تجربه در فناوری اطلاعات، بیش از 8 سال تجربه در اجرای پروژه های مربوط به Cloud/ML/AI/Big Data Science دارد. او یک مربی رسمی برای Google، Confluent و Cloudera است. او جلسات آموزشی خود را در شرکت های مختلف از جمله گوگل سنگاپور، مایکروسافت بنگالورو (بنگالور)، قهوه استارباکس سیاتل، ادوبی هند، منطقه EMEA و غیره ارائه کرده و ادامه می دهد. او توسط کلودرا به عنوان مربی سال 2016 (APAC) به دلیل امتیازات فوق العاده بالایی که در جلسات آموزشی مختلف دریافت کرد، شناخته شد.
نمایش نظرات